明洪武年间(1368~1398),江山设僧会司于海会寺,管理佛教事务。清末民初,全县有佛教徒482人,其中男366人,女116人。民国33年(1944),成立中国佛教会浙江分会江山支会,会址设海会寺,会员300余人,理监事16人,仙居寺住僧释寄尘任理事长。同时,在新塘边成立佛教分会小组,有组长、书记、理事等7人。
解放后,多数僧尼还俗改业,由政府分给房屋、土地、农具,参加农业生产。年老体弱的僧尼,仍居住寺庙,主持佛事。1953年,全县有寺庙、庵殿69处,僧尼17人,其中僧14人、尼3人。